前言

由於忘記今天要開學，而且還有一堂課要上，導致我只有兩個小時研究self-attention的實作
今天先來分享我找到什麼跟遇到什麼問題，之後陸續的解決問題，並且將實作做出來

self-attention官方github

https://github.com/tensorflow/tensor2tensor
這一個github是attention is all you need中提到的github，在README.md中的Quick Start中有一個iPython notebook，主要先研究這一個notebook中的內容

這一個iPython notebook是寫在google的colab，colab是一個基於jupyter notebook的免費軟體，可以直接在網頁上面撰寫程式

由於這次的目標是自己建立環境並且實作self-attention，因此我嘗試在Azure上建立一個環境來跑這隻程式

Tensor2Tensor Intro

google colab的介面是這樣，我有測試過，因為tensorflow改版的關係，所以現在這隻程式沒有辦法跑，我有嘗試在昨天建置好的Azure上面執行，但是執行也是會出錯，今天會繼續debug，明天有甚麼進度會在po上來

參考資料

https://github.com/tensorflow/tensor2tensor
https://colab.research.google.com/github/tensorflow/tensor2tensor/blob/master/tensor2tensor/notebooks/hello_t2t.ipynb